跟随梯度：将安全退化追溯到训练数据
🧭 LLM 微调数据安全筛选
DatologyAI · University of Illinois Urbana-Champaign (UIUC)
SimpleLoRIF 将低秩梯度归因扩至百万级数据，过滤梯度对齐不安全的样本，攻击成功率最高降22%
📌 工作参考价值（4 点）
- 在微调推荐/Agent LLM 时，可用“梯度方向对齐目标/非目标行为”的分数筛选训练样本，去除与广告合规违规、品牌安全、诱导点击等不良输出梯度对齐的隐式风险数据，不依赖文本表面。
- 工程实现上，只对最后 4 个 transformer blocks 回传并配合低秩投影计算梯度 embedding，可处理百万级样本；推荐团队可用类似方法对商品/query 日志做安全与质量滤除，无需全模型回传。
- 过滤比例与能力存在平衡：删除 top 20% 最对齐样本可显著降低攻击成功率且能力保持或提升；业务上可扫描过滤比例阈值，评估线上指标。
- 可构建定制化数据过滤 pipeline，按比例或子集过滤风险数据；类似思路可迁移到搜索词改写、推荐理由生成等场景的合规性治理。
继承而非发明：推理模型中 Wait 的来源追溯
🧭 LLM 推理行为训练溯源 · RL 角色
The Hong Kong University of Science and Technology · Peking University · Huawei Noah’s Ark Lab
通过追踪开放模型训练历史，证明 wait 等修订标记主要继承自训练数据而非 RL 凭空创造
📌 工作参考价值（4 点）
- 训练推理型 Agent 时，显式在 SFT 数据中加入“wait/reconsider”等自我修正 trace，不要寄希望于 RL 后期涌现；RL 只能放大已有行为，不能无中生有。
- 对线上 LLM 推理/推荐 Agent 做行为归因时，用无标签指标（标记频率、位置、形式、注入错误后是否触发）替代主观印象；marker 频率不应单独作为“推理增强”的 KPI。
- 评估 query 改写、解释生成或自检质量时，谨慎使用 LLM-as-judge：自动裁判可能反转人工标注趋势，建议人工抽检或多种 judge 交叉验证。
- 复现或调 RL 配方（如 GRPO）时，先检查基础模型是否已含目标语言行为、是否带 KL 约束；这些因素决定 RL 是放大、不变还是擦除该行为，影响线上文案/推荐解释的风格一致性。
从训练数据学到的 token cue 激发基础模型推理
🧭 LLM 推理行为与训练数据关联
MIT · UC Berkeley · University of Washington · Allen Institute for AI
固定特定起始 token cue 可使 base model 推理性能接近 RL 模型，该效应源于训练数据关联
📌 工作参考价值（4 点）
- 在搜索推荐、电商问答等提示工程中，可对输出起始 token（如 "Alright,"、".\n\nOkay"）做批量 A/B 测试，固定有效 cue 提升 base model 的推理质量，避免依赖 RL 训练成本。
- 若业务中 RL 训练的推荐/策略模型相比 base model 有显著提升，可分析其输出前缀 token 分布，将高频有利 cue 固定到推理流程中，部分回收性能增益。
- 遇到模型输出不符合预期（如推荐理由弱、拒绝率异常），可通过数据干预手段在训练数据中增删特定 token 关联，低成本调整行为，无需重新预训练。
- 安全合规场景需注意：token cue 可能被操纵以绕过拒绝行为，评测时应覆盖多种 cue 下的安全表现，避免只测试默认提示。
DataFlex-RL：RLVR 数据策略评估平台
🧭 RLVR 训练数据策略评测
Peking University · UCAS · Institute for Advanced Algorithms Research, Shanghai · Zhongguancun Academy
构建统一 GRPO 配方下评估 RLVR 数据策略的平台，发现选择/加权/自适应策略相比均匀采样无可复现提升
📌 工作参考价值（4 点）
- 在电商/推荐/Agent 场景中用 RLVR 训练生成式推荐、Query 推荐或文案生成时，均匀采样是强 baseline；引入任何 rollout 选择或加权策略前，先按统一超参多 seed 配对检验，避免无效复杂化。
- 评估指标集合对策略排名影响极大：仅用部分业务指标（如只看点击不看转化或多样性）可能导致排名负相关；需要领域平衡的综合指标，并在上线前检查指标选择是否稳健。
- 可复用 DataFlex-RL 开源平台作为内部 RLVR 数据策略 A/B 测试模板，快速验证新数据策略是否真的带来可复现提升。
- 自适应多域混合不优于固定等权混合，在多任务/多场景推荐中不要盲目上自适应采样权重的复杂设计，先确保数据质量和训练稳定性。
Moving Alphabet：可控文本到视频生成训练数据研究
🧭 文本到视频生成 · 训练数据重要性
Meta Superintelligence Labs · Purdue University
用程序化字母视频揭示数据分布与标注质量对文生视频模型泛化与训练效率的关键影响。
📌 工作参考价值（4 点）
- 在电商产品视频生成中，刻意保持训练数据内容（如商品品类、场景）与视频时长的均衡分布，避免偏斜，可提升模型泛化。
- 标注质量直接决定模型上限和收敛速度；低质量caption无法被CFG或微调完全挽救，预训练阶段就应投入资源保证标注准确性。
- 可借鉴“程序化测试床”思路，在可控环境下快速评测数据策略（如不同的文本改写、缺失信息）对生成质量的影响，降低大规模实验成本。
- 当训练数据存在噪声时，使用高质量子集微调可部分修复，但仍需关注源头数据清洗。
Autodata：代理式数据科学家自动生成高质量合成数据
🧭 代理式数据合成 · 迭代自我改进
FAIR at Meta
提出代理式数据科学家框架，通过迭代生成、评估与元优化，将推理算力转化为高质量模型训练数据
📌 工作参考价值（4 点）
- 搭建推荐数据飞轮：借鉴Autodata的循环流程（生成→定性检验→定量评估→优化配方），构建自动化合成数据管线，尤其在长尾商品/查询等欠缺真实样本的场景，持续产出难例。
- 用下游指标反馈优化生成策略：把离线模型性能（如AUC）或线上AB指标作为reward，元优化数据生成agent的prompt或采样策略，让生成的数据更贴合业务模型需求，类似自动超参调优。
- 在搜索推荐中迁移Agentic Self-Instruct：将任务定义为“生成搜索词-商品对”或“对话推荐场景”，通过self-instruct + 反思迭代，自动扩写训练集，尤其适合冷启动和少样本领域。
- 工程落地上注意成本控制：论文通过增加推理计算换取数据质量，实际部署时可对复杂任务才启用agent迭代，简单任务用固定模板，避免线上生成延迟过高；合理设置评估检查点与早停机制。
PhoneWorld：规模化手机使用智能体环境
🧭 手机使用Agent环境构建与训练数据生成 ★ 深度解读
Tencent Hunyuan · The Chinese University of Hong Kong, Shenzhen · Renmin University of China · Wuhan University
将真实GUI轨迹转化为可重置、可验证的手机mock应用环境，并支持训练数据生成与评估。
📌 工作参考价值（4 点）
- 借鉴用真实用户轨迹还原 app 页面优先级与导航图的方法，为电商 App 内的智能体训练构建高覆盖率 mock 环境，避免手动编写费时费力。
- 将只读业务内容（商品、店铺信息）与可写状态（购物车、收藏）分离，并在 SQLite 中做确定性状态管理，既可重置环境，又能用 SQL 查询实现自动化任务验证，适合电商任务（如下单、收藏）的批量奖励信号生成。
- 在固定训练步骤预算下，将少部分源自有业务 app 轨迹的 PhoneWorld 数据混入通用 AndroidWorld 数据，可同时提升域内与域外 benchmark，尤其在商品搜索、下单等场景能快速获得额外提升。
- 缩放 app 覆盖率比单纯增加轨迹数收益更大，建议优先扩展覆盖的 app 种类（如不同电商子场景），再适当增加每个 app 内的轨迹量。